गुड़ियों का संग्रह करने में केशव शंकर पिल्लै को अनेक कठिनाइयों का सामना करना पड़ा| सर्वप्रथम तो गुड़ियाँ बहुत महँगी होती थी और बहुत सारी गुड़ियां खरीदने के लिए बहुत सारे धन की जरुरत होती है| साथ ही गुडियो के खराब होने का डर होता है तो इसलिए उनको सुरक्षित रखना भी केशव शंकर पिल्लै के लिए एक चुनौती थी| इसके अलावा भी उन्हें अनेक परेशानियों का सामना करना पड़ा|